延迟的诊断联合性不稳定会导致踝关节的显着发病和关节炎的加速变化。使用3D体积测量值，重量计算机断层扫描（WBCT）已显示出有希望的早期和可靠检测分离出的集团不稳定性的潜力。尽管据报道这些测量值高度准确，但它们也依赖于经验，耗时，并且需要一种特定的3D测量软件工具，该工具导致临床医生仍然对传统的诊断方法表现出更大的兴趣。这项研究的目的是通过使用WBCT扫描来自动化3D体积解剖结构的3D体积评估来提高准确性，加速分析时间并减少观察者间偏置。我们使用了先前收集的单侧联合不稳定性患者的WBCT扫描进行了回顾性研究。评估了144个双侧踝WBCT扫描（48个不稳定，96个对照）。我们开发了三个深度学习（DL）模型，用于分析WBCT扫描以识别集团不稳定性。这三个模型包括两个最先进的模型（模型1-3D卷积神经网络[CNN]和具有长短期内存[LSTM]的模型2-CNN）和一个新的模型（模型3-差分差异我们在这项研究中介绍的CNN LSTM）。模型1未能分析WBCT扫描（F1得分= 0）。模型2仅错误分类两种情况（F1得分= 0.80）。模型3的表现优于模型2，并实现了几乎完美的性能，在对照组中仅误导了一个情况（F1得分= 0.91），因为不稳定，而比模型2更快。

State space models (SSMs) have demonstrated state-of-the-art sequence modeling performance in some modalities, but underperform attention in language modeling. Moreover, despite scaling nearly linearly in sequence length instead of quadratically, SSMs are still slower than Transformers due to poor hardware utilization. In this paper, we make progress on understanding the expressivity gap between SSMs and attention in language modeling, and on reducing the hardware barrier between SSMs and attention. First, we use synthetic language modeling tasks to understand the gap between SSMs and attention. We find that existing SSMs struggle with two capabilities: recalling earlier tokens in the sequence and comparing tokens across the sequence. To understand the impact on language modeling, we propose a new SSM layer, H3, that is explicitly designed for these abilities. H3 matches attention on the synthetic languages and comes within 0.4 PPL of Transformers on OpenWebText. Furthermore, a hybrid 125M-parameter H3-attention model that retains two attention layers surprisingly outperforms Transformers on OpenWebText by 1.0 PPL. Next, to improve the efficiency of training SSMs on modern hardware, we propose FlashConv. FlashConv uses a fused block FFT algorithm to improve efficiency on sequences up to 8K, and introduces a novel state passing algorithm that exploits the recurrent properties of SSMs to scale to longer sequences. FlashConv yields 2$\times$ speedup on the long-range arena benchmark and allows hybrid language models to generate text 1.6$\times$ faster than Transformers. Using FlashConv, we scale hybrid H3-attention language models up to 1.3B parameters on the Pile and find promising initial results, achieving lower perplexity than Transformers and outperforming Transformers in zero- and few-shot learning on a majority of tasks in the SuperGLUE benchmark.

对于许多应用，分析机器学习模型的不确定性是必不可少的。尽管不确定性量化（UQ）技术的研究对于计算机视觉应用非常先进，但对时空数据的UQ方法的研究较少。在本文中，我们专注于在线手写识别的模型，这是一种特定类型的时空数据。数据是从传感器增强的笔中观察到的，其目标是对书面字符进行分类。我们基于两种突出的贝叶斯推理，平均高斯（赃物）和深层合奏的突出技术对核心（数据）和认知（模型）UQ进行了广泛的评估。在对模型的更好理解后，UQ技术可以在组合右手和左撇子作家（一个代表性不足的组）时检测分布数据和域的变化。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

在各种现实世界应用中，组合优化问题作为混合整数线性程序（MILP）无处不在。规范的分支和结合算法通过构建越来越约束的子问题的搜索树来寻求精确解决MILP。实际上，其解决时间性能取决于启发式方法，例如选择下一个变量来约束（“分支”）。最近，机器学习（ML）已成为分支的有希望的范式。但是，先前的工作一直在努力应用强化学习（RL），理由是稀疏的奖励，艰难的探索和部分可观察性是重大挑战。取而代之的是，领先的ML方法论通过模仿学习（IL）近似高质量的手工启发式方法，这排除了新型政策的发现并需要昂贵的数据标签。在这项工作中，我们提出了复古分支。一种简单而有效的分支RL方法。通过回顾性将搜索树解构为子树中包含的多个路径，我们使代理能够从更短的轨迹中学习具有更可预测的下一步状态。在对四个组合任务的实验中，我们的方法可以在没有任何专家指导或预培训的情况下学习分支。我们的表现优于当前最新的RL分支算法，比最佳IL方法在MILPS上具有500个约束和1000个变量的最佳性能的20％以内，并验证了我们的回顾性构建轨迹对于实现的必要这些结果。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

大多数深度加强学习（DRL）的方法试图一次解决单一任务。因此，大多数现有的研究基准组成包括具有普通接口，但在其感知特征，目标或奖励结构中重叠的单独游戏或套房。促进培训代理人的知识转移（例如，通过多任务和元学习），需要更多的环境套件，提供具有足够共同的可配置任务，以共同研究待研究。在本文中，我们提供了Meta Arcade，该工具可以轻松定义和配置共享公共视觉效果，状态空间，动作空间，游戏组件和评分机制的自定义2D街机游戏。元拱门与现有环境不同，因为任职性共性和可配置性都优先考虑：可以从公共元素构建整组游戏，并且这些元素可通过暴露参数调节。我们包括一套24个预定义的游戏，共同说明了该框架的可能性，并讨论如何为研究应用程序配置这些游戏。我们提供了几个实验，说明了可以使用Meta Arcade如何使用，包括预定义游戏的单项任务基准，以设定的时间表更改游戏参数的示例课程的方法，以及游戏之间的转移学习探索。

设计优化算法一般表现良好，需要对一系列各种问题进行实验。培训神经网络是一项优化任务，在最近的深度学习成功方面已获得突出。尽管进化算法已用于培训神经网络，但梯度下降变体是迄今为止最常见的选择，其在大规模机器学习任务上的良好表现。在本文中，我们贡献了Cornn（使用神经网络对回归任务进行连续优化），这是一套大型套件，用于基准在神经网络培训问题上进行任何连续的黑盒算法的性能。使用一系列回归问题和神经网络体系结构，可以创建具有不同维度和难度级别的问题实例。我们通过比较了300多个问题实例的三种进化和基于群体的算法的性能，证明了康涅斯套件的使用，显示了算法之间的性能互补性的证据。作为基准，根据基于梯度的方法，基于人群的最佳算法的性能是基准的。 Cornn Suite作为公共Web存储库共享，以促进与现有基准平台的轻松集成。

放射线学使用定量医学成像特征来预测临床结果。目前，在新的临床应用中，必须通过启发式试验和纠正过程手动完成各种可用选项的最佳放射组方法。在这项研究中，我们提出了一个框架，以自动优化每个应用程序的放射线工作流程的构建。为此，我们将放射线学作为模块化工作流程，并为每个组件包含大量的常见算法。为了优化每个应用程序的工作流程，我们使用随机搜索和结合使用自动化机器学习。我们在十二个不同的临床应用中评估我们的方法，从而在曲线下导致以下区域：1）脂肪肉瘤（0.83）； 2）脱粘型纤维瘤病（0.82）; 3）原发性肝肿瘤（0.80）; 4）胃肠道肿瘤（0.77）； 5）结直肠肝转移（0.61）; 6）黑色素瘤转移（0.45）; 7）肝细胞癌（0.75）; 8）肠系膜纤维化（0.80）; 9）前列腺癌（0.72）； 10）神经胶质瘤（0.71）; 11）阿尔茨海默氏病（0.87）;和12）头颈癌（0.84）。我们表明，我们的框架具有比较人类专家的竞争性能，优于放射线基线，并且表现相似或优于贝叶斯优化和更高级的合奏方法。最后，我们的方法完全自动优化了放射线工作流的构建，从而简化了在新应用程序中对放射线生物标志物的搜索。为了促进可重复性和未来的研究，我们公开发布了六个数据集，框架的软件实施以及重现这项研究的代码。

AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。